Brunei, sebagai Negara Brunei Darussalam, bertanding di Sukan Olimpik Musim Panas 2004 di Athens, Greece, yang berlangsung antara 13 dan 29 Ogos 2004. Penyertaan negara di Athens menandakan penampilan keempatnya di Sukan Olimpik Musim Panas sejak penampilan sulungnya pada Sukan Olimpik Musim Panas 1988.Delegasi Brunei hanya melibatkan seorang atlet balapan dan padang, bermakna Brunei, bersama Kepulauan Virgin British dan Liechtenstein, menghantar jumlah atlet paling rendah ke Sukan Musim Panas 2004, dengan hanya seorang atlet. Atlet yang dipilih ialah Jimmy Anak Ahar, yang merupakan pelari jarak sederhana yang dipilih melalui kad bebas kerana negara tidak mempunyai atlet yang memenuhi piawaian "A" atau "B" dalam sebarang acara. Ahar juga dipilih sebagai pembawa bendera bagi upacara perasmian. Akhirnya, Ahar tidak berjaya melepasi saringan, bermakna Brunei tidak memenangi pingat di Sukan Olimpik Musim Panas ini.